Đàm Văn Lễ tự là Hoằng Kính, người xã Lam Sơn, huyện Quế Dương, nay là huyện Quế Võ, tỉnh Bắc Ninh, Việt Nam. Từ nhỏ ông đã nổi tiếng là thần đồng, thi Hương đỗ giải nguyên.

Năm 1469 đời Lê Thánh Tông, ông đi thi lần đầu đã đỗ Đồng tiến sĩ lúc 18 tuổi, được vào triều ban chức Hiệu lý Viện hàn lâm[1]. Năm 1483 ông được thăng lên làm Thị thư Viện Hàn lâm, cùng Thân Nhân Trung tham gia soạn bộ Thiên Nam dư hạ tập.

Năm 1488, ông làm chánh sứ sang Trung Quốc mừng vua Minh Hiếu Tông mới lên ngôi. Khi trở về ông được thăng làm Phó ngự sử, làm giám khảo khoa thi Điện năm 1493. Sau đó ít lâu ông được thăng làm Thượng thư bộ Lễ kiêm đại học sĩ Đông các. Ông vâng mệnh soạn bài văn bia Chiêu lăng thần đạo.

Năm 1499, sứ nhà Minh sang sách phong cho vua Lê Hiến Tông mới lên ngôi, ông ra đón tiếp và cùng bàn việc lễ nghi. Ông được Hiến Tông phong kiêm chức Tả xuân phường hữu dụ đức.

Năm 1504, Lê Hiến Tông bệnh nặng. Nguyễn Kính phi là mẹ hoàng tử Lê Tuấn muốn con mình thay thái tử Thuần, nên mang vàng hối hộ ông[2]. Đàm Văn Lễ không nhận rồi cùng Ngự sử Nguyễn Công Bật lập thái tử Thuần làm vua, tức là vua Lê Túc Tông.